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Inleiding 


Achtergrond en aanleiding 

Jaarlijks presenteert het Ministerie van Veiligheid en Justitie een prognosemodel 
voor de capaciteitsbehoefte van de justitiële keten. Op verzoek van de Tweede 
Kamer zijn deze PMJ- ramingen in 2016 niet tegelijkertijd met de begrotingen op 
Prinsjesdag gepubliceerd, maar een halfjaar eerder. Bij brief van 21 maart 2016 
heeft de minister van Veiligheid en Justitie de PMJ-ramingen aan de Tweede Ka¬ 
mer doen toekomen. 1 De uitkomsten van de PMJ-ramingen laten een trendmatige 
daling van de (geregistreerde) criminaliteit en slachtofferschap zien die doorwerkt 
in een verdergaande vermindering van de behoefte aan celcapaciteit. Bij ongewij¬ 
zigd beleid resulteert uit de PMJ-ramingen een capaciteitsoverschot van circa 
3.000 plaatsen bij het gevangeniswezen (GW) en vreemdelingenbewaring en bijna 
300 plaatsen in de jeugdinrichtingen. In de brief kondigt de minister aan dat een 
conceptplan wordt ontwikkeld dat beoogt de operationele celcapaciteit te laten 
aansluiten bij de geraamde behoefte tot en met 2021 teneinde structurele leeg¬ 
stand te voorkomen. 

Vervolgens heeft de Staatssecretaris van Veiligheid en Justitie bij brief van 25 
maart 2016 een nadere toelichting gegeven op de achtergronden, doelstellingen 
en de te volgen procedure bij de ontwikkeling van het concept plan. 2 

In het Algemeen Overleg gevangeniswezen van 30 maart jl. stond het geraamde 
capaciteitsoverschot bij DJI centraal. In het overleg heeft de Kamer aan de Staats¬ 
secretaris gevraagd de Algemene Rekenkamer een second opinion te laten uitvoe¬ 
ren op de PMJ-ramingen. Daarbij zou ook de betrouwbaarheid van de gebruikte 
gegevens betrokken moeten worden. 3 De Staatssecretaris heeft in het overleg 
toegezegd na te gaan of de Algemene Rekenkamer bereid en in staat is een se¬ 
cond opinion uit te voeren. Met de Kamer is afgesproken dat ingeval de Reken- 


1 Tweede Kamer 2015- 2016, PMJ- ramingen tot en met 2021, 24587, nr. 634 

2 Tweede Kamer 2015- 2016, Vervolgbrief Prognosemodel Justitiële Ketens (PMJ-) ramin¬ 

gen, 24587, nr. 635 

3 Verslag Algemeen Overleg 30 maart 2016, ongecorrigeerd verslag 
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kamer de second opinion niet op zich neemt aan een onderzoeksbureau zal wor¬ 
den gevraagd de review op zich te nemen. 

Na overleg tussen de Staatssecretaris van V&J en de Algemene Rekenkamer heeft 
het ministerie aan APE Public Economics (APE) gevraagd de uitvoering van de se¬ 
cond opinion op zich te nemen. Doel van de second opinion is een oordeel te ge¬ 
ven over: 

■ de wetenschappelijke onderbouwing van de module veiligheid van het PMJ 
model; 

■ de betrouwbaarheid van de gehanteerde gegevens. 

1.2 Scope en werkwijze 

1.2.1 Scope 

De second opinion is in een krap tijdsbestek uitgevoerd. De beschikbare doorloop¬ 
tijd van het onderzoek bedroeg drie weken. Het onderzoek heeft dan ook niet het 
karakter van een allesomvattende evaluatie. Omwille van de beschikbare tijd zijn 
scherpe keuzes gemaakt met betrekking tot de reikwijdte en methodologie van 
het onderzoek. Met betrekking tot de scope: 

■ Het PMJ bestaat uit twee onderdelen: een model voor de veiligheidsketen 
(incl. WAHW) en een model voor het civiel- en bestuursrechtelijke deel van de 
justitiële keten (excl. WAHV). De review richt zich uitsluitend op de module 
veiligheid van de PMJ- ramingen. Dit betekent dat de onderdelen die betrek¬ 
king hebben op bestuursrecht en civielrecht buiten beschouwing blijven. 

■ De analyse in deze second opinion richt de focus met name op de gevolgen 
van de PMJ voor het gevangeniswezen. 

■ De PMJ- systematiek kent twee pijlers. Met behulp van een beleidsneutrale 
raming worden de effecten van reeds ingezette maatregelen in de prognoses 
verwerkt. De beleidsneutrale raming wordt met het PMJ- model geschat op 
basis van een econometrische exercitie die door het WODC wordt uitgevoerd. 
De tweede pijler, de raming van de beleidsrijke component blijft buiten be¬ 
schouwing in de review. De beleidsrijke component omvat de effecten van 
nieuw, reeds goedgekeurd beleid die nog niet in de WODC ramingen zijn ver¬ 
werkt. De beleidsrijke component behoort tot de verantwoordelijkheid van de 
beleidsdirecties van V&J. Dat betekent dat de review zich niet richt op de 
vraag (zoals vanuit de Tweede Kamer gesteld) wat het effect is van een hoger 
oplossingspercentage door de politie voor de capaciteitsbehoefte in de keten 
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1.2.2 Werkwijze 

De beperkte doorlooptijd heeft ook doorgewerkt in de gehanteerde werkwijze. 
Door APE zijn geen eigenstandige analyses uitgevoerd gericht op een grotere ro¬ 
buustheid van het PMJ model. De analyse is geconcentreerd op deskresearch en 
gesprekken met vertegenwoordigers van het WODC en het ministerie van V&J. 

De volgende documentatie is bij de review betrokken: 

• PMJ-Cahiers 2004-8, 2009-6 en 2010-9; 

• Beleidsneutrale prognose sanctiecapaciteit 2007, documentnr. 207; 

• 'Tekort aan cellen' Nyfer, Breukelen 2002; 

• 'Design and implementation of a forecasting tooi of justice chains', artikel 
V&J, WODCe.a. 

• DJI vs. PMJ2017, notitie werking en uitkomsten vervalkalender / tijd¬ 
reeksanalyses en vergelijking met PMJ; 

• Achtergronddocumentatie over naijking, onzekerheidsmarges, schatting 
van coëfficiënten, modelleringsregels en relatie tussen in- en uitstroom in 
naijking; 

• Excel documentatie van het WODC over effect van exogenen, opbouw be¬ 
leidsrijke prognose, evaluatie van GW prognoses en onzekerheidsmarges; 

• Voorgaande evaluaties van het PMJ model (APE 2004, Regioplan 2009). 

• Onderzoeken Trendwatch: WODC, Trendwatch, introductie en eerste re¬ 
sultaten van een instrument ter verbetering van justitiële capaciteitsra- 
mingen, Cahier 2011-4; WODC, Een methode voor het verklaren en voor¬ 
spellen van trends, Cahier 2011-5; 

Daarnaast is uitvoerig en meermaals contact geweest met zowel het WODC als 
het DJI over de methodiek van de ramingsmodellen. Voorts zijn tussentijdse rap¬ 
portages besproken in een overleg met de opdrachtgever. 


Procesbeschrijving PMJ ramingen 

Het traject start in september en resulteert uiteindelijk aan het eind van dat ka¬ 
lenderjaar in een overzicht van de capaciteitstekorten en -overschotten. Het 
WODC levert in samenwerking met de Raad voor de rechtspraak (Rvdr) per be¬ 
leidsterrein de beleidsneutrale raming waarin geen effecten van nieuw beleid 
en/of recente nieuwe wetgeving zijn meegenomen. Parallel aan dit traject leveren 
de beleidsdirecties en/of de taakorganisaties per product ramingen aan voor de 
capaciteitsgevolgen van nieuw beleid en nieuwe wetgeving. Deze effecten worden 
ook wel de beleidsrijke kop genoemd. 

De beleidsneutrale ramingen en de beleidsrijke kop vormen samen de beleidsrijke 
raming. 
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In het PMJ-proces is aandacht voor het wederzijds toetsen van de ramingen tus¬ 
sen de ketenpartners. Zowel de beleidsneutrale ramingen als de maatregelen die 
deel uitmaken van de beleidsrijke kop worden onder de ketenpartners getoetst. 

In december stelt het Strategisch Beraad PMJ de uiteindelijke ramingen vast. 

1.4 Leeswijzer 

Deze notitie geeft puntsgewijs de bevindingen en aanbevelingen naar aanleiding 
van deze doorlichting. Hoofdstuk 2 behandelt de modelstructuur, Hoofdstuk 3 
behandelt de stap van het ketenmodel tot de beleidsrijke raming, Hoofdstuk 4 
behandelt gevoeligheidsanalyses omtrent het model en de gehanteerde gegevens 
en hoofdstuk 5 geeft enkele aanbevelingen. 
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Modelstructuur ketenmodel PMJ-raming 


2.1 Modelkenmerken 

Voor deze second opinion hebben we het PMJ model aan de hand van verschil¬ 
lende stukken nagelopen. De belangrijkste kenmerken van het model hebben we 
hieronder puntsgewijs op een rij gezet. 

■ Ketenmodel (doorloopt instanties uit de veiligheidsketen); 

■ Statistisch technisch (niet causaal) verklaringsmodel op macroniveau; 

■ Model gebruikt tijdreeksen van jaargegevens van bronnen o.a. CBS, CJIB, DJI; 

■ De gehanteerde tijdreeksen gaan soms terug tot 1978 (bv. bij opsporing); 

■ Voor de l e schakel in de keten worden prognoses gemaakt op basis van om- 
gevings- en achtergrondfactoren in lijn met criminologische theorieën (on¬ 
derverdeeld in maatschappelijke, demografische en economische factoren); 

■ Voor wat betreft het GW zijn de l e schakels: 

■ Door de politie geregistreerde misdrijven en verdachten 

■ Direct naar CJIB ingezonden strafbeschikkingen, WAHV-beschikkingen en 
transacties, voor zaken die niet eerder langs het OM zijn geweest (de non 
*-feiten uit de feitcodetabel) 

■ Instroom bij het OM van zaken die niet in bovengenoemde 3 categorieën 
vallen (vnl. instroom vanuit BOD/BOA, strafbeschikkingen/transacties 
voor zgn. *-feiten (zie feitcodetabel) en feiten uit het feitcodetabel waar¬ 
bij mogelijk sprake is van recidive). 

■ In de modellen wordt een uitsplitsing gemaakt naar 

■ Volwassenen/Jeugd 

■ Delictcategorie (14 misdrijfcategorieën en 5 overtredingscategorieën) 

■ Voor overige ketens geldt: instroom is gerelateerd aan de uitstroom uit voor¬ 
gaande keten 

■ De meeste modelvergelijkingen worden geschat met mutaties in de log van 
factoren zodat coëfficiënten kunnen worden geïnterpreteerd als elasticitei- 
ten: 1% groei in A leidt tot y% groei in B. Indien de Durbin Watson test daar¬ 
toe aanleiding geeft worden de vergelijkingen aangevuld met een AR(l)-term 
om te corrigeren voor padafhankelijkheid (zie begrippenlijst) 

■ Modelvergelijkingen en coëfficiënten worden geschat met OLS of simultane 
schattingsmethoden als Seemingly unrelated regression (SUR, zie begrippen¬ 
lijst). Indien geen verklarende factoren voorhanden zijn wordt trendextrapola- 
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tie toegepast. Trends worden in het ketenmodel zoveel mogelijk vermeden 
vanwege de afwezigheid van ketenafhankelijkheid en de inhoudelijke inter¬ 
pretatie. 

■ In bijlage I is een tijdslijn opgenomen van het opstellen van de ramingen tot 
het moment dat de ramingen in de begroting gebruikt worden. De PMJ 2015 
is opgesteld tussen september en december 2015. Het eerste jaar van deze 
ramingen heeft betrekking op het lopende jaar (2015). De ramingen worden 
gebruikt bij het opstellen van de begroting voor 2017 die Prinsjesdag 2016 
wordt gepresenteerd. 


2.2 Keuze voor Ketenmodel 

Waarom is gekozen voor het huidige complexe verklaringsmodel, in plaats van 
een simpele methode van trendextrapolatie of een variant daarvan (een 'zuiver 
tijdreeksmodel')? De gedachten achter de ontwikkeling van een verklaringsmodel 
zijn reeds terug te vinden bij de ontwikkeling van de eerste versies van deze mo¬ 
dellen (Werkgroep Prognose Sanctiecapaciteit, 1997, bijlage 3.1, p. 4): 

‘Er is geen duidelijke reden om, zuiver met het oog op de voorspelkracht, te kiezen 
voor tijdreeks- of verklaringsmodellen. Vanuit het perspectief van eenvoud en 
spaarzaamheid (“Occams razor”) en voorspelkracht verdienen eenvoudige tijd¬ 
reeksmodellen de voorkeur. Gezien de nevendoelstellingen om inzicht in achterlig¬ 
gende verklarende factoren en de mogelijkheid tot de doorrekening van beleidsef¬ 
fecten te verkrijgen, is het echter aan te bevelen om, waar mogelijk, te kiezen voor 
verklaringsmodellen. ’ 

De keuze voor het ketenmodel is deels dus ingegeven door de mogelijkheden om 
scenario's op te stellen en om beleidsvoorstellen door te rekenen. In de praktijk 
wordt het model ook gebruikt voor deze doeleinden. DJI heeft het WODC meer¬ 
maals gevraagd om specifieke scenario's door te rekenen. Het gebruik van een ke¬ 
tenmodel kan hierbij nuttig zijn als beleidsvoorstellen contra-intuïtieve, of tegen¬ 
gestelde effecten hebben. Zo heeft extra inzet van politie aan de ene kant tot 
gevolg dat de pakkans groter wordt, maar is er aan de andere kant ook een pre- 
ventie-effect. Het netto-effect van een dergelijk beleidsvoorstel kan aan de hand 
van het PMJ model ingeschat worden. 

Naast het doorrekenen van beleidsvoorstellen maakt het WODC ook scenario's 
om de 'gevoeligheid' van beleid in beeld te brengen. Denk hierbij aan het effect 
van kleine mutaties in de strafmaat of criminaliteit op de rest van de keten. 
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In Cahier 2009-6 wordt een vergelijking gemaakt van de voorspelfouten in het 
PMJ-ketenmodel en alternatieve tijdreeksmodelleringen: 

'Hoe verhouden de voorspelfouten van de beleidsrijke PMJ-ramingen zich met die 
van tijdreeksmodellen, die ook hadden kunnen worden gebruikt? De voorspelfou¬ 
ten in de beleidsrijke PMJ-ramingen zijn tot en met het tweede begrotingsjaar (4 
jaar vooruit) kleiner of vrijwel gelijk aan die van alternatieve eenvoudige tijd¬ 
reeksmodellen (eveneens gebaseerd op jaargegevens), zoals constant houden en 
trendextrapolatie. In die zin levert de investering in het PMJ dus winst op. Daarna 
wordt het beeld diffuser. Bij een langere tijdshorizon van 6 jaar vooruit (4e begro¬ 
tingsjaar) blijkt het PMJ relatief minder goed te voldoen. Eenvoudige tijdreeksmo¬ 
dellen geven dan in een aantal gevallen kleinere voorspelfouten. Er is echter geen 
enkel tijdreeksmodel dat met kop en schouders boven de andere uitsteekt.' 

Op korte termijn blijkt echter een tijdreeksanalyse op hoogfrequente data in 
combinatie met de zgn. vervalkalender wel tot een betere aansluiting met de rea¬ 
lisatie te komen, logischerwijs ten gevolge van het gebruik van meer recente ge¬ 
gevens waardoor de laatste ontwikkelingen in capaciteitsbehoefte worden mee¬ 
gewogen. 

'Voorspelfouten zijn tot op zekere hoogte onvermijdelijk. Al bij de ontwikkeling van 
de voorloper van het PMJ werd geconstateerd dat niet te verwachten is dat een 
verklaringsmodel kleinere voorspelfouten zal opleveren dan een eenvoudige tijd¬ 
reeksmodel. Gezien bovenvermeld resultaat, moet deze conclusie voor de kortere 
tijdshorizon (tot en met 4 jaar vooruit) nog ten voordele van het PMJ worden ge¬ 
nuanceerd. Een (gedeeltelijk) verklaringsmodel als het PMJ heeft bovendien als 
voordeel dat het de samenhang bevordert tussen de ramingen van diverse onder¬ 
delen van de justitiële keten, en dat simulaties van sommige beleidseffecten en 
van zich snel wijzigende economische omstandigheden mogelijk gemaakt worden.' 
(Cahier 2009-6). 

Gezien de doelstelling om een model te gebruiken dat ook inzicht geeft in achter¬ 
liggende verklarende factoren en dat ook de mogelijkheid biedt om beleidseffec¬ 
ten door te rekenen, en het feit dat het model op korte termijn beter, en op mid¬ 
dellange termijn niet veel minder presteert dan eenvoudige tijdreeksmodellen, 
concluderen wij dat de keuze voor een ketenmodel nog steeds te rechtvaardigen 
is. 
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2.3 Beoordeling modelstructuur 


Het model is tot 2009 meerdere malen door externe onderzoeksbureau geëvalu¬ 
eerd (APE 2004, SEO 20 06 4 , Regioplan 2009). De bureaus concluderen globaal ge¬ 
zien dat het model econometrisch goed in elkaar zit en dat de econometrische in¬ 
vulling voldoet aan de gangbare kwaliteitsstandaarden. In de laatste evaluatie 
concludeert Regioplan (2009): "het WODC kwalificeert het model als ' weten¬ 
schappelijk onderbouwd'. Deze etiketten zijn binnen econometrische waarden en 
normen verdedigbaar". Regioplan geeft ook aan dat voor bepaalde onderdelen in 
de keten de afwijking met de realisatie te groot, maar ziet ook geen technische 
mogelijkheden om ramingen te verbeteren. 

Wel geeft Regioplan in overweging om early warning Systems te ontwikkelen die 
beter in staat zijn om trendbreuken te voorspellen. In reactie op deze evaluatie 
heeft het WODC met de ontwikkeling van het instrument Trendwatch een stap 
gezet om trends en trendbreuken op een expliciete manier te doorgronden en te 
voorspellen. Bij de ontwikkeling van het instrument is echter ook gebleken dat 
zowel in organisatorisch als in methodologisch opzicht er nog diverse verbeterin¬ 
gen mogelijk en wenselijk zijn. Het WODC stelt dat de Trendwatch nog in de kin¬ 
derschoenen staat en acht het gewenst om in een vervolgonderzoek deze open¬ 
staande kwesties nader te onderzoeken en om waar mogelijk verbeteringen in de 
Trendwatch-methode door te voeren (WODC 2009, WODC 2011, WODC 2014). 

Sinds 2009 is het model niet meer extern geëvalueerd. Om de vormgeving van het 
model te kunnen beoordelen is inzicht nodig in de veranderingen sinds de laatste 
evaluatie. Dit betreffen veranderingen aan het model, maar ook veranderingen op 
het terrein van econometrie en criminologische trends. Het WODC heeft in het 
kader van deze review aangegeven dat er sinds de laatste evaluatie geen funda¬ 
mentele wijzigingen van de structuur van het model hebben plaatsgevonden. Wel 
heeft het WODC nog een aantal verbeteringen op de plank liggen. De belangrijk¬ 
ste hiervan is het meenemen van voorraden in de verschillende schakels in de ke¬ 
ten. Obstakel bij de implementatie is vaak het ontbreken van betrouwbare gege¬ 
vens . 

2.3.1 Econometrische ontwikkelingen 

Het WODC geeft aan dat zich op het gebied van econometrie geen nieuwe ont¬ 
wikkelingen zijn die relevant zijn voor het PMJ model. Het WODC heeft een pro- 
grammeringsadviesgroep ingesteld die het WODC adviseert over modeltechnische 
vraagstukken. Ook vanuit de adviesgroep zijn geen suggesties voor nieuwe eco¬ 
nometrische technieken aangedragen. Wij beamen de opvatting van WODC dat er 


4 De evaluatie van SEO betrof het civiele en bestuurlijke deel van de justitiële keten 
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sinds 2009 geen noemenswaardige relevante ontwikkelingen in de econometrie 
hebben plaatsgevonden die een herziening van het model noodzakelijk maken. 

2.3.2 Criminologische ontwikkelingen 

Veranderingen in criminologische trends kunnen ook een reden zijn om wijzigin¬ 
gen in het model door te voeren. Nieuwe trends kunnen gevolgen hebben voor de 
verklaringskracht. Wanneer een nieuwe trend niet in het model wordt meegeno¬ 
men kan de verklaringskracht afnemen. Het WODC heeft in dit verband de wens 
uitgesproken het model uit te willen breiden met gegevens over 'cybercrime', die 
de laatste jaren vaker voorkomt. Dit is nog niet het model verwerkt omdat de be¬ 
nodigde gegevens nog niet beschikbaar zijn. Binnen de beschikbare tijd van deze 
second opinion is hebben we geen diepgaand onderzoek kunnen doen over moge¬ 
lijke andere trends waar rekening mee gehouden moet worden. Een uitgebreidere 
analyse kan hier meer zicht op krijgen. 

Onderhoud 

Het model is sinds de vorige evaluatie niet fundamenteel veranderd, maar er vindt 
wel regulier onderhoud plaats. De belangrijkste veranderingen worden hier kort 
toegelicht. 

2.4.1 Wijzigingen in wetgeving, beleid en de uitvoeringspraktijk 

De grootste wijzigingen in het model sinds 2009 zijn het gevolg van beleidswijzi¬ 
gingen of veranderingen in de uitvoeringspraktijk. Wanneer zulke wijzigingen gro¬ 
te gevolgen hebben voor de inrichting van de keten wordt het model aangepast. 
Recent voorbeeld is de verandering in de strafbeschikkingen. 

2.4.2 Wijzigingen in de gebruikte gegevens 

Het PMJ model maakt gebruik van tijdreeksen van verschillende gegevens. Het 
komt voor dat de definities van de gegevens door de tijd veranderen. In zulke ge¬ 
vallen worden cijfers zo veel mogelijk gecorrigeerd zodat reeksen van vergelijkba¬ 
re cijfers ontstaan en ramingen niet verkeerd beïnvloed worden door plotselinge 
niveauwijzigingen. 

2.4.3 Jaarlijks onderhoud en actualisatie 

Tot slot wijzigt het model van jaar tot jaar doordat bij de schatting van de vergelij¬ 
kingen de regressievergelijkingen opnieuw gedraaid worden op basis van geactua¬ 
liseerde gegevens. Dit kan ertoe leiden dat elasticiteiten veranderen en dat be¬ 
paalde variabelen wel/niet statistisch significant worden. 
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2.5 Betrouwbaarheid gebruikte gegevens 

2.5.1 Externe factoren 

In Cahier 2010-9 wordt gesteld dat demografische ontwikkelingen in vergelijking 
met de economische ontwikkelingen vrij stabiel zijn. Dat werkt door in de be¬ 
trouwbaarheid en stabiliteit van de prognoses. In het Cahier 2010-9 is onderzocht 
wat de gevolgen voor de capaciteitsbehoefte zijn indien de economische ramin¬ 
gen van het CPB meer of minder gunstig zijn dan geraamd. De gevolgen van een 
hogere werkloosheid op de capaciteitsbehoefte blijken zeer beperkt tot afwezig. 

APE heeft gekeken naar de externe factoren met de grootste impact op de ont¬ 
wikkeling in de capaciteitsbehoefte in de PMJ-raming van 2016 en in hoeverre de 
ramingen van deze factoren aansluiten bij de realisaties. Indien hier structureel 
grote afwijking bestaan dan kan de onder- of overschatting in de raming oorzaak 
zijn voor een structurele onder- of overschatting in de capaciteitsbehoefte. 

Slechts 1 externe factor blijkt een grote impact te hebben op de mutaties in de 
prognose van capaciteitsbehoefte. Deze factor is 'Mannelijke bevolking 18-49' 
(bron: CBS). In de raming in de begrotingen van 2007 t/m 2010 daalt de waarde 
van deze factor over een periode van zeven jaar gemiddeld met 4,5%. In de reali¬ 
satie is deze daling echter beperkter, namelijk 2,7%. Elk van de onderzochte jaren 
is de raming voor 'Mannelijke bevolking 18-49' een onderschatting van de realisa¬ 
tie. Voor het begrotingsjaar ligt de raming gemiddeld 0,6% onder de realisatie, 
voor vier jaar na het begrotingsjaar is dit zelfs gemiddeld 1,9%. Deze onderschat¬ 
ting leidt mogelijk -ceteris paribus- tot een te lage raming van de lange termijn 
capaciteitsbehoefte. De precieze omvang van dit effect kan op basis van de gege¬ 
vens waarover wij beschikken en de vanwege de beperkte doorlooptijd van deze 
second opinion niet bepaald worden, maar zal naar onze inschatting maximaal 
enkele procentpunten bedragen. Overigens zien we dat de PMJ-ramingen voor de 
celcapaciteit de afgelopen jaren telkens hoger uitvallen dan de realisatie. Dat be¬ 
tekent dat andere factoren (exogene variabelen, elasticiteiten) dus een tegen¬ 
overgestelde werking die de onderschatting van de demografische daling meer 
dan compenseert. 

2.5.2 Tijdreeksen 

In het PMJ model wordt gebruik gemaakt van jaarlijkse tijdreeksen over een rela¬ 
tief lange periode (vaak vanaf 1980). Langere tijdreeksen zijn nodig om de beno¬ 
digde vergelijkingen te kunnen schatten. Nadeel van zulke lange tijdreeksen is 
echter dat observaties van relatief lang geleden invloed hebben op de schatting. 
Dit zou de voorspelkracht negatief kunnen beïnvloeden. Het gebruik van een tijds- 
reeks die minder ver teruggaat zou de voorspelkracht van het model kunnen doen 
toenemen. Om toch genoeg observaties te hebben voor de schatting van de ver¬ 
gelijkingen kan gebruikt worden gemaakt van hoogfrequente data (maandelijks, 
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kwartaal). Het WODC heeft aangegeven dat het gebruik van hoogfrequente gege¬ 
vens in het verleden niet mogelijk was, omdat deze niet in voldoende mate be¬ 
schikbaar waren. De beschikbaarheid en de kwaliteit van de gegevens is de afge¬ 
lopen jaren echter toegenomen. Ons advies is dan ook om te onderzoeken of het 
gebruik van hoogfrequente data inmiddels wei mogelijk is. 

DJI gebruikt hoogfrequente data voor korte termijnramingen van de capaciteit in 
het gevangeniswezen (zie hoofdstuk 3.1.1). 

Conclusies en advies 

■ Het PMJ model is voor het laatst in 2009 extern geëvalueerd. Sinds de vorige 
evaluatie hebben geen fundamentele wijzigingen plaatsgevonden in de struc¬ 
tuur van het model. Binnen de kaders van deze second opinion zijn er geen 
aanwijzingen dat het model fundamenteel zou moeten worden herzien van¬ 
wege nieuwe econometrische en/of criminologische inzichten. Een nieuwe 
uitgebreide evaluatie zou meer inzichten kunnen bieden in a) recente crimi¬ 
nologische trends, b) mogelijke verbeteringen van het model, en c) prestaties 
van het model (voorspelling versus realisatie, betrouwbaarheidsintervallen). 

■ Vooruitlopend op de bredere evaluatie zou het gebruik van hoogfrequente 
data kunnen worden overwogen om de voorspelkracht te vergroten. Nader 
onderzoek dient uit te wijzen of dit nu (of in de nabije toekomst) mogelijk is 
en wat hiervan de effecten zijn voor de voorspelkracht van het model. 
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Van ketenmodel tot beleidsrijke PMJ- 
raming 


3.1 Inleiding 

De beleidsneutrale ramingen zoals die in het voorgaande hoofdstuk zijn omschre¬ 
ven zijn niet gelijk aan de ramingen die gebruikt worden voor de begroting. Dit 
komt doordat er nog twee stappen in het proces volgen: 

■ De ramingen worden 'nageijkt' aan de hand van recentere realisatiecijfers en 
korte termijnramingen van DJI. 

■ Ramingen van de effecten van nieuw beleid worden separaat door beleidsdi¬ 
recties opgesteld. Deze effecten worden bij de beleidsneutrale ramingen op¬ 
geteld om de beleidsrijke ramingen te krijgen. 

Zowel het naijken als de raming van de beleidseffecten worden in dit hoofdstuk 
nader toegelicht. 

3.2 Herijken 

Het PMJ-model 2015 geeft ramingen voor de periode 2015-2021 en wordt ge¬ 
bruikt voor de begroting 2017. De GW celcapaciteitsbehoefte die in de stukken 
naar de Tweede Kamer worden gerapporteerd correspondeert niet 1-op-l met 
deze PMJ-ramingen. Dit komt voor een deel doordat de cijfers geijkt worden aan 
de hand van recente data: 

■ 2015 wordt nageijkt gebaseerd op realisatiecijfers l e helft 2015; 

■ 2016 wordt gebaseerd op tijdreeksanalyses en de vervalkalender van DJI aan¬ 
gezien de daarvoor gehanteerde cijfers meer recent zijn dan de cijfers in het 
PMJ-model. De meest recente ontwikkeling in bezetting wordt daardoor in 
deze raming meegewogen; 

■ 2017 wordt berekend door de DJI raming van de vervalkalender voor 2016 te 
vermenigvuldigen met de groeifactor in de beleidsneutrale PMJ- raming voor 
2017 ten opzichte van de beleidsneutrale PMJ- raming voor 2016; 
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■ 2018 wordt berekend door de hierboven berekende celcapaciteitsbehoefte 
voor 2017 te vermenigvuldigen met de groeifactor in de beleidsneutrale PMJ- 
raming voor 2018 ten opzichte van de beleidsneutrale PMJ-raming voor 2017; 

■ Voor de jaren 2019 t/m 2021 geldt dezelfde methode als voor 2018. 

3.2.1 Gebruik van de korte termijnramingen DJI 

De DJI-eigen voorspelling behelst enerzijds een exercitie op basis van tijdreeks¬ 
analyses van de bezetting en de Vervalkalender (WK). De WK voorspelt op basis 
van verblijf- en instroomgegevens van justitiabelen de bezetting voor maximaal 
één jaar vooruit. Met andere woorden: 

■ Hoeveel justitiabelen zitten nu vast, wie stromen er de komende 12 maanden 
naar verwachting uit en op welk moment? 

■ Hoeveel nieuwe justitiabelen stromen er de komende 12 maanden naar ver¬ 
wachting in en op welk moment ook weer uit? 

Daarbij wordt de voorspelling van de nieuwe instroom gebaseerd op tijdreeksana¬ 
lyses (als onderdeel van het voorraad stroommodel). 

De (totale) bezetting (op peilmomenten dus) van GW is de resultante van in¬ 
stroom vs. duur. Op basis van tijdreeksanalyses (ARIMA-modellen) wordt de be¬ 
zetting (op peilmoment) voor een periode van 12 maanden vooruit voorspeld. 
Hierbij wordt gebruik gemaakt van actuele maandelijkse data: dus hoogfrequent 
en actueel. 

Voor de korte termijn zijn de DJI-ramingen beter dan de PMJ ramingen. Om deze 
reden worden deze ramingen als uitgangspunt genomen van het PMJ model. 

Begin 2016 heeft het WODC op verzoek van de Bestuursraad een toelichting ge¬ 
geven op het gebruik van de DJI korte termijnramingen bij de PMJ ramingen. Hier¬ 
in wordt de raming van de GW celcapaciteit inclusief DJI korte termijnramingen 
vergeleken met de beleidsneutrale ramingen van het PMJ-model (zonder herijken 
op basis van de DJI korte termijnramingen). Voor het lopende jaar geeft de DJI 
raming een redelijke nauwkeurige inschatting van de celcapaciteit, omdat deze 
voor een deel is gebaseerd op realisatiecijfers. 

Voor wat betreft capaciteitsbehoefte JJI en vreemdelingenbewaring wordt voor 
zover wij kunnen beoordelen geen korte termijn raming gemaakt door DJI, waar¬ 
door van naijking op basis van DJl-cijfers geen sprake is 5 . Ook van JJI en VB zijn 
hoogfrequente bezettingscijfers over een langere periode beschikbaar. De moge¬ 
lijkheden zijn dus aanwezig om de kort termijnramingen van DJI uit te breiden. 


5 Wel wordt de capaciteitsbehoeften JJI en vreemdelingenbewaring in jaar t nageijkt op 
basis van recentere realisatiecijfers. 
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3.3 Beleidseffecten 


Daarnaast worden alle prognoses aangevuld met door de beleidsdirectie inge¬ 
schatte beleidseffecten. Voor het GW is de omvang van het beleidsrijke deel 
meestal niet groot. Vaak vallen positieve en negatieve beleidseffecten groten¬ 
deels tegen elkaar weg. In het verleden is gebleken dat de geraamde effecten van 
de beleidsdirecties achteraf -in absolute termen- te hoog waren. Vooral het tem¬ 
po waarmee effecten werden gerealiseerd werd overschat (Zie cahier 2009-6). DJI 
is echter stringenter geworden bij het opstellen van de beleidsrijke effecten. Zo 
worden de ramingen zo veel mogelijk gebaseerd op (interne en externe) impact¬ 
analyses. Ook worden niet alle beleidsvoorstellen onverkort meegenomen. Zo 
moet het voorstel bekend zijn bij de Tweede Kamer, moet het effect meetbaar 
zijn, en moet het verwachte effect een substantiële omvang hebben om betrok¬ 
ken te worden in de analyse. 
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4 

W Uitkomsten ketenmodel 

4.1 Inleiding 

In dit hoofdstuk analyseren we de afwijkingen tussen de uitkomsten van de ra¬ 
mingen en de realisaties. In 4.2 kijken we terug en richten ons op de gemiddelde 
voorspelfout van het PMJ model in het verleden: hoe verhoudt de geraamde ca¬ 
paciteit voor het gevangeniswezen zich tot de feitelijke behoefte aan cellen inde 
afgelopen jaren? In 4.3 staan de onzekerheidsmarges centraal die inherent zijn 
aan ramingen. Hoe groot is het betrouwbaarheidsinterval van de PMJ ramingen 
voor het gevangeniswezen en hoe verloopt dat in de periode 2016- 2020? 

4.2 Voorspelfouten prognose (retrospectief) 

4.2.1 Analyse voorspelfout (Cahier 2009-6) 

Bij het analyseren van voorspelfouten is het niet mogelijk beleid buiten beschou¬ 
wing te laten. Voorspelfouten worden immers in kaart gebracht door de prognose 
af te zetten tegen de realisatie. Beleidseffecten zitten logischerwijs ingebed in de 
realisatiecijfers, dus voor de vergelijking dient de beleidsrijke prognose gebruikt te 
worden. Een voorspelfout kan dus zijn veroorzaakt door het model enerzijds en 
door verkeerd ingeschatte beleidseffecten anderzijds. Een tweede probleem bij 
het inschatten van de voorspelfouten is het concept van een ‘setf denying proficy’. 
Het is mogelijk dat beleid wordt aangepast aan de hand van ramingen. Het gevolg 
hiervan is dat de voorspelling minder goed aansluit bij de realisatie. In hoeverre 
de voorspelfout aan een van deze oorzaken is toe te rekenen is moeilijk te achter¬ 
halen 6 . 

In Cahier 2009-6 wordt de voorspelfout van het beleidsrijke PMJ model nader ge¬ 
analyseerd. In dat Cahier wordt daarvoor gebruik gemaakt van de gemiddelde ab¬ 
solute voorspelfout van alle geraamde variabelen binnen de verschillende domei¬ 
nen 7 . Het blijkt dat deze voorspelfout toeneemt naarmate de voorspelling verder 


6 Een mogelijkheid is een vergelijking te maken (ex ante/ ex post) van alle impactanalyses 

van het beleidsrijke deel. Deze exercitie geeft inzicht in de voorspelfout van het be¬ 
leidsrijke deel. Op basis van de realisatiecijfers en de voorspelfout van de beleidsrijke 
raming kan de voorspelfout van de beleidsneutrale raming worden bepaald. 

7 De gemiddelde absolute procentuele voorspelfout (Mean Absolute Percentage Error, 

MAPE) geeft aan wat de gemiddelde afwijking in absolute zin is tussen voorspellingen 
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in de toekomst ligt. De gemiddelde absolute voorspelfout van de beleidsrijke PMJ- 
ramingen neemt toe van 5% bij 1 jaar vooruit tot 17% bij een raming voor 6 jaar 
vooruit. 

Het Cahier stelt verder dat het beroep op de Justitievoorzieningen gemiddeld met 
4 a 5% overschat wordt voor het eerste begrotingsjaar. In het Cahier wordt voorts 
geconstateerd dat de helft van deze overschatting te maken blijkt te hebben met 
een ingeschat positief beleidseffect, dat in het eerste begrotingsjaar gemiddeld 
ruim 2% bedraagt. Deze laatste constatering verdient wel enige nuancering. De 
overschatting wordt toegekend aan het ex ante ingeschatte beleidseffect. De in¬ 
schatting van dit beleidseffect kan evenzeer fout zijn als de PMJ-raming. 

Een dergelijke integrale analyse van de voorspelfout is sinds 2009 niet meer her¬ 
haald. Wel is in een recente interne notitie de beleidsrijke ramingen voor de cel- 
capaciteit GW vergeleken met de realisatie. Deze vergelijking is weergegeven in 
Figuur 4-2. De figuur leert dat de ramingen voor de GW celcapaciteit de afgelopen 
jaren in de meeste gevallen te hoog zijn uitgevallen. 


Figuur 4-1: Gemiddelde absolute voorspelfout beleidsrijke PMJ-raming in de 
periode 1999-2009, afhankelijk van het aantal jaren dat vooruit 
voorspeld is 



Een nadere analyse leert ook dat trendbreuken moeilijk zijn te voorspellen in het 
PMJ model. Op verzoek van de bestuursraad hebben DFEZ, het WODC en DJI een 
nota van toelichting opgesteld over de achtergrond van de daling van de GW ca- 
paciteitsbehoefte. 

'Analyse van de bezetting over afgelopen jaren laat zien, dat een deel van de 


en realisatiecijfers. Negatieve en positieve voorspelfouten vallen niet tegen elkaar 
weg, waardoor de MAPE een goed beeld geeft van de gemiddeld optredende 'kloof 
tussen voorspelling en realisatie (bron: Cahier 2009-6). 
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daling wordt veroorzaakt door de ontwikkelingen rondom gijzelingen, die niet 
meer worden opgelegd: zo'n 350-400 plaatsen. Daarnaast is er sprake van een 
verschuiving naar lichtere zaken, een daling van de instroom van preventief 
gehechten en een stijging van de instroom van onherroepelijke vrijheidsstraffen 
(lopende vonnissen).' 

Op basis van deze bevindingen adviseren WODC en DFEZ deze factoren binnen de 
reeds bestaande werkgroepen te monitoren om eventuele trendbreuk(en) vroeg¬ 
tijdig te kunnen duiden. Dit advies lijkt ons een nuttige uitbreiding van de PMJ 
ramingen. 

Figuur 4-2 laat zien dat de PMJ ramingen in de afgelopen jaren stelselmatig een 
hogere capaciteit raamden voor het gevangeniswezen dan uiteindelijk overeen¬ 
kwam met de gerealiseerde behoefte aan celcapaciteit. 


Figuur 4-2: PMJ ramingen GW celcapaciteit versus realisatie 



Onzekerheidsmarge prognose (prospectief) 

Om cijfers in het GW nader te duiden kunnen we kijken naar de onzekerheids¬ 
marge van de ramingen. Het WODC heeft de onzekerheidsmarge rondom de PMJ- 
raming reeds eerder geadresseerd in een interne notitie: 

'Door middel van een Monte-Carlo-simulatie kan het 95%-betrouwbaarheids- 
interval van de PMJ-ramingen geschat worden. In een dergelijke simulatie worden 
drie mogelijke bronnen van onzekerheid geadresseerd: 
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1. Onzekerheid in de inputwaarden het model, i.e. de voorspellingen van in 
het model gebruikte demografische, economische en maatschappelijke 
factoren. 

2. Misspecificatie van het model 

3. Schattingsfouten bv. als gevolg van fouten in de data of de gekozen schat¬ 
tingsmethode' 


M.b.t. de PMJ2016: Tegen de tijd dat we aan het einde van de justitiële keten ko¬ 
men, wordt het 95%-betrouwbaarheidsinterval steeds groter vanwege de opstape¬ 
ling van alle onzekerheden bij de tussengelegen organisaties. De onzekerheid in de 
ramingen van het Gevangeniswezen is derhalve vrij groot. En weliswaar leggen 
kantonzaken en WAHV-zaken niet zo'n heel groot beslag op de capaciteit van DJI, 
maar de grote onzekerheid in de instroom van dit type zaken werkt wel door in de 
onzekerheid van de ramingen van de capaciteitsbehoefte van het Gevangeniswe¬ 
zen. De ramingen van GW in 2015 zijn afkomstig van de vervalkalender van DJI 
zelf. Hierover kan het WODC geen onzekerheidsmarges berekenen. Maar uit figuur 
blijkt dat in 2016 de bandbreedte -13% tot 16% van de beleidsneutrale raming is. 
Dit loopt op tot een bandbreedte van -27% tot 37% in 2020 (zie Figuur 4-3).' 


Figuur 4-3: 95% betrouwbaarheidsinterval GW celcapaciteit 



-Capaciteitsbehoefte GW (incl. marge) 


Bron: interne notie V&J 'Onzekerheidsmarges in PMJ’ 
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4.4 Conclusie en aanbevelingen 


■ In de laatste jaren lijkt het PMJ-model de capaciteitsbehoefte structureel te 
overschatten. De gerealiseerde capaciteitsbehoefte blijkt lager te liggen dan 
de geraamde behoefte op basis van het PMJ-model. Het herhalen van een 
analyse op voorspelfouten op basis van meer recente PMJ-ramingen is daar¬ 
om zinvol. 

■ Om te achterhalen wat de oorzaken zijn van de voorspelfouten kunnen oude 
PMJ ramingen met gerealiseerde waardes van externe variabelen, van in¬ 
stroom en van uitstroom doorgerekend worden. Vervolgens dient in kaart ge¬ 
bracht te worden welke variabelen en welke schakels de grootste bijdrage aan 
de voorspelfouten leveren. Als het telkens dezelfde groep factoren en scha¬ 
kels is die de fouten veroorzaken kan de bruikbaarheid van prognoses binnen 
deze groep voor de PMJ-ramingen in twijfel worden getrokken. In Cahier 
2009-6 is al geconstateerd dat er winst is te behalen in de ketens vervolging 
en berechting, maar eenduidige conclusies konden toen niet getrokken wor¬ 
den omdat de analyse op 1 begrotingsjaar was uitgevoerd. 

■ De gevoeligheidsanalyse van de prognose leidt tot een forse bandbreedte, 
vooral op lange termijn. Bij de PMJ 2016 was dit een bandbreedte van -27% 
tot +37% in 2020. Deze bandbreedte is het gevolg van de opeenstapeling van 
onzekerheden in de verschillende schakels in het ketenmodel. Zo hebben de 
modelvergelijkingen van verdachten (le schakel in de keten) soms een lage 
verklaringsgraad, hetgeen betekent dat met de externe factoren de ontwikke¬ 
ling in de omvang van de groep verdachten niet altijd even goed te voorspel¬ 
len is. Deze lage verklaringsgraad en de daarmee samenhangende grote 
bandbreedte kan mogelijk verbeterd worden door recentere gegevens te ge¬ 
bruiken. In de huidige opzet is dit niet altijd mogelijk omdat jaargegevens ge¬ 
bruikt worden waardoor een beperkte hoeveelheid waarnemingen beschik¬ 
baar is om de schatting mee uit te voeren. Onze aanbeveling is om het gebruik 
van (hoogfrequente) halfjaarlijkse, kwartaal- of maandcijfers te exploreren. 
De tijdreeks kan zo beperkt worden tot een recentere periode (bv. na 2008 
i.p.v. na 1978). 
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Aanbevelingen 


In deze second opinion hebben we op basis van bestaande documentatie en ge¬ 
sprekken met DJI en WODC een review gemaakt van het beleidsneutrale PMJ mo¬ 
del. De second opinion moest inzicht bieden in: 

■ de wetenschappelijke onderbouwing van de module veiligheid van het PMJ 
model 

■ de betrouwbaarheid van de gehanteerde gegevens. 

Binnen de beperkte doorlooptijd van het onderzoek zijn er naar onze mening geen 
aanwijzingen dat het model fundamenteel gewijzigd moet worden. Het model zit 
econometrisch goed in elkaar. Binnen de beschikbare tijd van deze second opinion 
hebben we geen diepgaand onderzoek kunnen doen over mogelijke criminolo¬ 
gische trends (bijvoorbeeld cybercrime) waar rekening mee gehouden moet wor¬ 
den. Een uitgebreidere analyse kan hier meer zicht op krijgen. 

Met betrekking tot gebruikte gegevens komen we tot een aantal aanbevelingen: 

■ Het PMJ model gaat nu uit van jaarlijkse tijdreeksen. Het gebruik van hoog¬ 
frequente data (maandelijks, kwartaal) zou de voorspelkracht kunnen vergro¬ 
ten. Er dient nader onderzoek verricht te worden om te achterhalen of dit nu 
(of in de nabije toekomst) mogelijk is. 

■ Voor wat betreft capaciteitsbehoefte JJI en vreemdelingenbewaring wordt 
geen korte termijn raming gemaakt door DJI, waardoor van naijking op basis 
van DJI-cijfers geen sprake is. Ook van JJI en VB zijn hoogfrequente bezet- 
tingscijfers over een langere periode beschikbaar. De mogelijkheden zijn dus 
aanwezig om de kort termijnramingen van DJI uit te breiden. 

Voor sommige onderdelen (waaronder de GW celcapaciteit) zijn voorspelfouten 
en betrouwbaarheidsintervallen vrij groot. Dit leidt tot een tweetal aanbevelin¬ 
gen: 

■ Het herhalen van een analyse op voorspelfouten op basis van meer recente 
PMJ-ramingen is zinvol. Om te achterhalen wat de oorzaken zijn van de voor¬ 
spelfouten kunnen oude PMJ ramingen met gerealiseerde waardes van ex¬ 
terne variabelen, van instroom en van uitstroom doorgerekend worden. Ver¬ 
volgens dient in kaart gebracht te worden welke variabelen en welke 
schakels de grootste bijdrage aan de voorspelfouten leveren. 
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■ De lage verklaringsgraad en de daarmee samenhangende grote bandbreedte 
kan mogelijk verbeterd worden door recentere (hoogfrequente) gegevens te 
gebruiken. 

Tot slot is het model voor het laatst geëvalueerd in 2009. Een nieuwe uitgebreide 
evaluatie zou meer inzichten kunnen bieden in a) recente criminologische trends, 
b) mogelijke verbeteringen van het model, en c) prestaties van het model (voor¬ 
spelling versus realisatie, betrouwbaarheidsintervallen). 
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Begrippenlijst 


Autocorrelatie/padafhankelijkheid: Afhankelijkheid van een waarneming van de¬ 
zelfde variabele op een eerder moment in de tijd. 

AR(x)-term: Een AR(x)-term is een variabele in een regressievergelijking die gelijk 
is aan de waarde van de te verklaren variabele x tijdseenheden daarvoor. Met een 
dergelijke term wordt verondersteld dat de te verklaren grootheid lineair afhan¬ 
kelijk is van de waarde van dezelfde grootheid op een voorafgaand tijdstip. Met 
behulp van een Durbin-Watson test kan autocorrelatie (en daarmee de behoefte 
aan een AR-term in de regressie) getoetst worden. 

Durbin-Watson test: Door berekening van de Durbin-Watson statistiek kan de 
aanwezigheid van autocorrelatie in de voorspelfouten van een regressie-analyse 
getest worden. Indien de test aanwijzingen geeft dat er sprake is van positieve of 
negatieve autocorrelatie dan betekent dit dat de voorspelfout voor jaar t afhanke¬ 
lijk is van de voorspelfout in een voorgaand jaar. Door middel van een AR-term 
kan de deze autocorrelatie weggenomen worden, waardoor de voorspelling beter 
aansluit bij de realisatie. 

Seemingly Unrelated Regression (SUR): SUR is een verzameling van lineaire re- 
gressievergelijkingen, ieder met een eigen afhankelijke variabele en mogelijk ver¬ 
schillende sets van verklarende factoren. Iedere regressievergelijking kan in theo¬ 
rie afzonderlijk geschat worden. Bij Seemingly Unrelated Regression wordt echter 
verondersteld dat de voorspelfouten onderling van elkaar afhankelijk zijn. Ter illu¬ 
stratie: het is bijvoorbeeld denkbaar dat als de aantallen verdachten in een be¬ 
paalde delictscategorie in een bepaald jaar relatief laag zijn dat de verdachten in 
een andere delictscategorie relatief hoog zijn. De regressievergelijking worden 
daarom gezamenlijk geschat. 
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Bijlage I: Tijdlijn PMJ ramingen 


Tabel 0-1: Tijdslijn PMJ ramingen 
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